首先照例官网是最好的教程！

官方介绍：Hadoop是一个由Apache基金会所开发的，可靠的、可扩展的、用于分布式计算的分布式系统基础架构和开发开源软件。简单的说Hadoop软件库就是一个框架，通过这个框架你可以在计算机集群中对大规模的数据集进行分布式处理，可以理解成和操作系统的多线程并行有点像的一个东西。但是这个东西非常稳定，如果一个节点上的数据宕掉了还有神奇的机制可以保证数据备份在其他节点上，可以继续运行。

Hadoop架构核心包括:

等下我们分别介绍一下这三个东西，先对他们有个大概的了解就好了

HDFS是以分布式进行存储的文件系统，主要负责集群数据的存储和读取。是一个Master/Slave体系结构的分布式文件系统，HDFS实际上是运行在已有文件系统之上的一个文件系统，某种程度上你就理解成和你计算机的传统的文件系统差不多的一个东西就好了。同样的基本上面的Hadoop有什么特点HDFS就有这些特点。

1. 存储超大文件：适合存储大量文件（PB，EB以上都是没问题的）；适合存储大文件（单个文件大小一般都是 百MB以上了）；文件数目适中。

2. 流式文件访问：文件**一次写入，多次读取的访问模式**；支持追加操作，但无法更改已写入数据。

3. 普通商用硬件即可：不要昂贵的硬件，相对廉价的商用硬件就可以实现HDFS存储；当系统中某台/某几台服务器故障的时候，系统仍可用并且能保持数据完整。

基于以上的设计理念，我们自然的就可以想到

1. 低时间延迟的数据访问：HDFS 是为了高数据量的应用设计优化的，因此就以高时间延迟作为代价，如果服务的数据访问需要低时间延迟的话，那么HBase是个不错的选择。

2. 大量的小文件：由于Namenode将文件系统的元数据存储在内存中，因此HDFS能存的文件总数受限与Namenode的内存容量；根据经验，一般每个文件、目录、数据块的存储信息大约占150字节，存100万个文件大约需要300M内存。

3. 多用户写入，任意修改文件：HDFS只支持单个写入者；并且只能在文件末尾追加数据，不能修改已有内容。

歪一个楼我们可以顺便来回忆一下文件系统：

（以下内容来自屁屁踢） 传统文件系统们 (依旧是知乎的markdown倒入不支持这个表格..大家自动脑补一下..?)

操作系统 | 文件系统 --- | ---: Windows | FAT32,NTFS,exFAT Linux/Android | ext3,ext4,xfs macOS/iOS | HFS+,APFS UNIX | JFS,JFS2,CDRFS,UDFS

分布式文件系统(Distributed File System):

文件系统管理的物理存储资源不一定直接挂载在本地节点上，而是通过计算机网络与节点相连。

常见类型：

话题再扯回来...！！！

主要包括一个NameNode, 一个Secondary NameNode, 多个DataNode

在了解概念之前我们先大概感受一下HDFS的架构！

然后让我们来了解一下这几个概念:

一个Hadoop Cluster由好多个Rack组成

一个Rack由好多个Node组成，比如说这样：

需要访问HDFS文件服务的用户或应用所在的节点，包括：

元数据不是具体的文件内容，有三类重要信息：

本文的最后一部分有关于元数据的更详细的载入和更新操作

文件在上传到HDFS时，HDFS将文件划分为多个分块(chunk)，存储一个文件或一个文件的一部分。Hadoop2.x默认块大小为128MB（当然也有的版本为64MB这么大的分块）。

如要存储一个129MB的文件，则会被分成两个块来存储。Block被存储到各个节点，每个数据块都会备份副本。

文件本分成数据块按照抽象的数据块存储之后有啥好处呢..？

NameNode可以看成是集群的管理者，管理整个文件系统的命名空间，用于存储元数据及处理客户端发送的请求。

首先我们来看官方对NameNode相关功能的一些解释：

NameNode中存放元信息的文件是fsimage文件。系统运行期间，所有对元数据的操作都保存在内存中，并被持久化到另一个文件edits中。当NameNode启动的时候，fsimage会被加载到内存中，然后对内存中的数据执行edits所记录的操作，以确保内存中保留的数据处于最新的状态。

再具体通俗的点解释一下，NameNode如何完成对整个文件系统的管理的呢？

我们都知道元数据存放了文件内容、名称、父目录等等的相关信息，同时还有DataNode的相关信息，那NameNode存放了元数据就意味着NameNode可以维护整个文件系统树及整棵树内所有的文件和目录。这些信息以镜像文件和编辑日志文件的形式永久的保存在本地磁盘上，在系统启动时被动态加载到内存中。同时包含了DataNode的相关信息，这些信息就是每个文件中各个块所在的数据的节点信息，这些信息会在系统启动时由数据节点重建。

NameNode这么重要！所以如果NameNode损坏将导致整个HDFS数据的无法访问。

这里涉及到两个名词：fsimage, edits那么这两个东西是啥呢？

fsimage: 镜像文件，保存文件系统目录树信息，保存文件和块的对应关系

edits: 编辑日志文件，保存文件系统的更改记录。当客户端对文件进行写操作（包括新建和移动）时，操作首先记入edits，成功后才会更改内存中数据。edits并不会立刻更改硬盘上的fsimage

这两个名词以及NameNode的相关信息在本文的最后会有更详细的内容介绍

Secondary NameNode 听名字就知道是对NameNode的一个备份，备份了NameNode的数据，周期性的将edits文件合并到fsimage文件并在本地备份，以此来控制edits文件的大小在合理范围内，能缩短集群重启时NameNode重建fsimage的时间。同时能将新的fsimage文件存储到NameNode，取代原来的fsimage，删除edits文件，创建一个新的edits以便继续存储文件修改状态。

在NameNode元数据损坏的情况下，Secondary NameNode也可用作数据恢复，但不一定能恢复出全部数据。

但是要注意Secondary NameNode不是备份节点！！

同样的这个位置的关于HDFS的概念的几个名词在文章的最后会有更进一步的介绍。

DataNode是真正存储数据的地方。在DataNode中文件以数据块的形式进行存储。当文件传到HDFS的时候。会被按照数据块的大小进行切割，每个块会被存储到不同的或者相同的DataNode并且备份副本，一般会默认存成3份，这样一个DataNode挂掉了之后，还会有其他两个上来顶替！比较稳妥！而被存成3份的数据块的DataNode会被NameNode记录下来，同时整个文件的分块信息也会被NameNode记录下来，确保在读取该文件时可以找到并整合所有的块。

每个块在存储到DataNode的同时，也会在本地文件系统中产生两个文件，一个是实际的数据文件，另一个是块的附加信息文件，其中包括数据的校验和，生成时间等。

DataNode通过心跳包和NameNode进行通讯。客户端读取/写入数据时在直接与DataNode通讯。

了解了HDFS的相关名词之后..那么问题来了..HDFS到底为什么这么神奇啊？HDFS有啥原理呢！

我们可以先大概感受一下HDFS的分布式存储

了解完分布式系统后..分布式文件系统就是分布式系统的一个子集，正像文章最开始提到的，分布式文件系统（这里指HDFS）主要解决的问题就是数据存储。再来一句话简单的说，它是横跨多台计算机的存储系统，存储在分布式文件系统上的数据能被自动划分到不同的节点上。

文件分布在多个集群节点上，节点间通过网络通信进行协作，提供多个节点的文件信息，让每个用户都能看到文件系统的文件，让多机器上多用户能共享文件和存储空间。

同时文件存储分块，数据块分布在各个节点并且在其他节点存储副本，这点在上面有提到。

数据读取时也会从多个节点读取。读取一个文件，从多个节点中找到存储该文件的数据块，分布读取所有数据块，然后按照文件对应数据块相关信息拼凑到一起去就读完了整个文件。

上面提到了每个数据块在其他节点中存储了副本，那么让我们具体的了解一下HDFS的副本机制。

每个数据库诶在HDFS中会存储多份，默认3份。副本在存放时按照以下策略进行：

具体放置副本时努力达到两者之间的平衡进行放置。

存储副本的具体过程如下：

如果这个系统副本备份机制默认3份以上的话，其余副本存放遵守以下原则：

以上我们感受到写入的过程～同时可以发现数据块存储时候的副本是NameNode发送来的DataNode列表决定的，总的来讲还是很好理解的。

如果你还是没理解这个过程那么配合下面的图片食用更佳！

有了写流程就要来讲讲读流程了！

读流程和写流程实际上是差不多的

同样的配合下面的图片食用更佳！

（这个等我下次再更新吧这次不想写了QAQ）

你还记得上面提到的元数据和一些乱七八糟的名词吗？让我们在本文的最后，你已经了解了这么多Hadoop和HDFS相关基础知识的时候，再来谈谈元数据吧！

NameNode里使用两类非常重要的本地文件保存元数据信息，就是我们上面提到的fsimage镜像文件和edits编辑日志文件。那么到这里的话你再来看看上面关于元数据和NameNode的相关介绍会不会更明白些呢？实际上就是这两个文件完成了元数据的存储。

当NameNode启动时：

这些东西放到一起，NameNode启动时做的这些操作就正好包含了元数据要存的那些内容呀！你说巧不巧！

当NameNode运行时：

以上结合介绍元数据与NameNode部分，大概两个本地文件和元数据就是这么回事啦！

知道了Secondary NameNode是啥一般要做啥之后，我不知道你会不会想这个问题：这个东西相当于对NameNode的一个备份，我们已经对NameNode还蛮了解的了，我知道NameNode怎么工作的了，那这个Secondary NameNode到底咋回事啊？

最后让我们来看看Secondary Namenode的运行过程吧

以上 其实本来想这篇文章先简单介绍Hadoop和HDFS，Mapreduce,YARN..但是写完HDFS的简单介绍就不想继续写下去的我Orz那么Mapreduce我们下次有机会再讲吧！

写得迷迷糊糊的如果有什么问题欢迎联系我～

最后我发现写好的markdown导入知乎真的太丑了！！！原文首发在我的网站里原文没这么丑的QAQ知乎这个排版怎么这么不好看啊QAQ大家凑合看吧..抱拳！